User and product information associated with a review is useful for sentiment polarity prediction. Typical approaches incorporating such information focus on modeling users and products as implicitly learned representation vectors. Most do not exploit the potential of historical reviews, or those that currently do require unnecessary modifications to model architecture or do not make full use of user/product associations. The contribution of this work is twofold: i) a method to explicitly employ historical reviews belonging to the same user/product to initialize representations, and ii) efficient incorporation of textual associations between users and products via a user-product cross-context module. Experiments on IMDb, Yelp-2013 and Yelp-2014 benchmarks show that our approach substantially outperforms previous state-of-the-art. Since we employ BERT-base as the encoder, we additionally provide experiments in which our approach performs well with Span-BERT and Longformer. Furthermore, experiments where the reviews of each user/product in the training data are downsampled demonstrate the effectiveness of our approach under a low-resource setting.
translated by 谷歌翻译
Pre-trained language models (PLMs) are known to improve the generalization performance of natural language understanding models by leveraging large amounts of data during the pre-training phase. However, the out-of-distribution (OOD) generalization problem remains a challenge in many NLP tasks, limiting the real-world deployment of these methods. This paper presents the first attempt at creating a unified benchmark named GLUE-X for evaluating OOD robustness in NLP models, highlighting the importance of OOD robustness and providing insights on how to measure the robustness of a model and how to improve it. The benchmark includes 13 publicly available datasets for OOD testing, and evaluations are conducted on 8 classic NLP tasks over 19 popularly used PLMs. Our findings confirm the need for improved OOD accuracy in NLP tasks, as significant performance degradation was observed in all settings compared to in-distribution (ID) accuracy.
translated by 谷歌翻译
当前的NLP技术已在不同的域中极大地应用。在本文中，我们提出了一个在杂乱无章的场景中机器人抓握的人类框架，调查了掌握过程的语言接口，该框架使用户可以通过自然语言命令进行干预。该框架是在最先进的ras基线基线上构建的，在那里我们使用bert代替场景图表代表场景的文本表示。对模拟和物理机器人的实验表明，所提出的方法在文献中优于基于对象敏捷和场景图的常规方法。此外，我们发现，通过人类干预，绩效可以大大提高。
translated by 谷歌翻译
近年来，基于变压器的预训练模型已获得了很大的进步，成为自然语言处理中最重要的骨干之一。最近的工作表明，变压器内部的注意力机制可能不需要，卷积神经网络和基于多层感知器的模型也已被研究为变压器替代方案。在本文中，我们考虑了一个用于语言模型预训练的图形循环网络，该网络通过本地令牌级通信为每个序列构建一个图形结构，以及与其他代币解耦的句子级表示。原始模型在受监督培训下的特定领域特定文本分类中表现良好，但是，其通过自我监督的方式学习转移知识的潜力尚未得到充分利用。我们通过优化体系结构并验证其在更通用的语言理解任务（英语和中文）中的有效性来填补这一空白。至于模型效率，我们的模型在基于变压器的模型中而不是二次复杂性，而是具有线性复杂性，并且在推断过程中的性能更有效。此外，我们发现与现有基于注意力的模型相比，我们的模型可以生成更多样化的输出，而背景化的功能冗余性较小。
translated by 谷歌翻译
几乎没有命名的实体识别（NER）对于在有限的资源领域中标记的实体标记至关重要，因此近年来受到了适当的关注。现有的几声方法主要在域内设置下进行评估。相比之下，对于这些固有的忠实模型如何使用一些标记的域内示例在跨域NER中执行的方式知之甚少。本文提出了一种两步以理性为中心的数据增强方法，以提高模型的泛化能力。几个数据集中的结果表明，与先前的最新方法相比，我们的模型无形方法可显着提高跨域NER任务的性能，包括反事实数据增强和及时调用方法。我们的代码可在\ url {https://github.com/lifan-yuan/factmix}上获得。
translated by 谷歌翻译
半监督学习（SSL）通过利用大量未标记数据来增强有限标记的样品来改善模型的概括。但是，目前，流行的SSL评估协议通常受到计算机视觉（CV）任务的约束。此外，以前的工作通常从头开始训练深层神经网络，这是耗时且环境不友好的。为了解决上述问题，我们通过从简历，自然语言处理（NLP）和音频处理（AUDIO）中选择15种不同，具有挑战性和全面的任务来构建统一的SSL基准（USB），我们会系统地评估主导的SSL方法，以及开源的一个模块化和可扩展的代码库，以对这些SSL方法进行公平评估。我们进一步为简历任务提供了最新的神经模型的预训练版本，以使成本负担得起，以进行进一步调整。 USB启用对来自多个域的更多任务的单个SSL算法的评估，但成本较低。具体而言，在单个NVIDIA V100上，仅需要37个GPU天才能在USB中评估15个任务的FIXMATCH，而335 GPU天（除ImageNet以外的4个CV数据集中的279 GPU天）在使用典型协议的5个CV任务上需要进行5个CV任务。
translated by 谷歌翻译
由于它存在的挑战以及甚至进行预测准确性或预测的潜在奖励，财务预测是机器学习研究的一个重要而活跃的机器学习研究领域。传统上，财务预测严重依赖于结构化财务报表的定量指标和指标。盈利会议呼叫数据（包括文本和音频）是使用深度盈利和相关方法的各种预测任务的重要非结构化数据的重要来源。但是，当前基于深度学习的方法在他们处理数字数据的方式有限;数字通常被视为普通文本令牌，而不利用其底层数字结构。本文介绍了一个以数字为导向的分层变压器模型，以预测库存退货，以及使用多模态对齐收益的财务风险通过利用不同类别的数字（货币，时间，百分比等）及其幅度来调用数据。我们使用现实世界公共可公共数据集介绍了对几个最先进的基线的NumHTML的全面评估结果。结果表明，NumHTML在各种评估指标中显着优于当前最先进的指标，并且它有可能在实际交易环境中提供重大的财务收益。
translated by 谷歌翻译
对抗性可转移性是一种有趣的性质 - 针对一个模型制作的对抗性扰动也是对另一个模型有效的，而这些模型来自不同的模型家庭或培训过程。为了更好地保护ML系统免受对抗性攻击，提出了几个问题：对抗性转移性的充分条件是什么，以及如何绑定它？有没有办法降低对抗的转移性，以改善合奏ML模型的鲁棒性？为了回答这些问题，在这项工作中，我们首先在理论上分析和概述了模型之间的对抗性可转移的充分条件;然后提出一种实用的算法，以减少集合内基础模型之间的可转换，以提高其鲁棒性。我们的理论分析表明，只有促进基础模型梯度之间的正交性不足以确保低可转移性;与此同时，模型平滑度是控制可转移性的重要因素。我们还在某些条件下提供了对抗性可转移性的下界和上限。灵感来自我们的理论分析，我们提出了一种有效的可转让性，减少了平滑（TRS）集合培训策略，以通过实施基础模型之间的梯度正交性和模型平滑度来培训具有低可转换性的强大集成。我们对TRS进行了广泛的实验，并与6个最先进的集合基线进行比较，防止不同数据集的8个白箱攻击，表明所提出的TRS显着优于所有基线。
translated by 谷歌翻译
最近已经采取了密集的算法努力来实现复杂ML模型的认证鲁棒性快速改善。但是，当前的鲁棒性认证方法只能在有限的扰动半径下进行认证。鉴于现有的纯数据驱动的统计方法已经达到了瓶颈，因此我们建议将统计ML模型与知识（以逻辑规则表示为逻辑规则）作为使用Markov Logic Networks（MLN（MLN）（以进一步提高）的推理组件，以进一步改善总体认证的鲁棒性。这为证明这种范式的鲁棒性，尤其是推理组成部分（例如MLN）开辟了新的研究问题。作为理解这些问题的第一步，我们首先证明了证明MLN鲁棒性的计算复杂性是＃p-hard。在这种硬度结果的指导下，我们通过仔细分析不同的模型制度来得出第一个用于MLN的认证鲁棒性。最后，我们对五个数据集进行了广泛的实验，包括高维图像和自然语言文本，以及自然语言文本，以及我们表明，具有基于知识的逻辑推理的经认证的鲁棒性确实胜过了T。心。
translated by 谷歌翻译
Geometric camera calibration is often required for applications that understand the perspective of the image. We propose perspective fields as a representation that models the local perspective properties of an image. Perspective Fields contain per-pixel information about the camera view, parameterized as an up vector and a latitude value. This representation has a number of advantages as it makes minimal assumptions about the camera model and is invariant or equivariant to common image editing operations like cropping, warping, and rotation. It is also more interpretable and aligned with human perception. We train a neural network to predict Perspective Fields and the predicted Perspective Fields can be converted to calibration parameters easily. We demonstrate the robustness of our approach under various scenarios compared with camera calibration-based methods and show example applications in image compositing.
translated by 谷歌翻译